# 의미 왜곡 방지 (Prevention of Semantic Distortion)

## 1. 개요
**의미 왜곡 방지**란 생성형 AI 및 자연어 처리(NLP) 모델이 텍스트를 생성, 요약, 번역하는 과정에서 입력된 원문의 핵심 의미나 의도를 변형시키지 않고 정확하게 유지하도록 제어하는 기술적 접근을 의미한다. 대규모 언어 모델(LLM)은 확률적으로 다음 토큰을 예측하는 특성상, 문법적으로는 완벽하지만 사실관계가 틀리거나 원문의 뉘앙스를 잘못 해석하는 현상이 발생한다. 이는 특히 의료, 법률, 금융 등 고신뢰도가 요구되는 도메인에서 치명적인 오류로 이어질 수 있으며, 따라서 이를 방지하는 것이 생성 품질 관리의 핵심 과제로 꼽힌다.

## 2. 의미 왜곡의 주요 유형
의미 왜곡은 단순히 틀린 단어를 사용하는 수준부터, 논리적 구조를 완전히 뒤바꾸는 수준까지 다양하게 나타난다.

### 2.1 왜곡 유형 분류
| 왜곡 유형 | 정의 | 예시 (원문 $\rightarrow$ 왜곡문) |
| :--- | :--- | :--- |
| **단순 오역/오기** | 단어의 의미를 잘못 해석하거나 수치, 고유명사를 틀리게 생성 | 원문: "금리는 3.5%이다" $\rightarrow$ 왜곡문: "금리는 5.3%이다" |
| **환각 (Hallucination)** | 원문에 없는 허구의 정보를 사실처럼 추가하여 의미를 변질시키는 경우 | 원문: "A 기업은 반도체 회사다" $\rightarrow$ 왜곡문: "A 기업은 반도체 회사이며 2023년 매출 1위다" |
| **뉘앙스 상실** | 화자의 태도, 강조점, 완곡한 표현 등이 사라져 의미가 변질 | 원문: "검토해 보겠습니다(완곡한 거절)" $\rightarrow$ 왜곡문: "검토하겠습니다(긍정적 수락)" |
| **논리적 모순** | 문장 간의 인과관계나 전제 조건을 반대로 생성 | 원문: "A가 B보다 크므로 C이다" $\rightarrow$ 왜곡문: "B가 A보다 크므로 C이다" |

### 2.2 사례 전후 비교
*   **사례 1: 요약 과정에서의 정보 누락 및 왜곡**
    *   **원문:** "정부는 이번 정책을 시행하되, 일부 취약 계층에 한해서만 예외적으로 지원금을 지급할 계획이다."
    *   **왜곡 생성:** "정부는 모든 취약 계층에게 예외 없이 지원금을 지급하는 정책을 시행한다."
    *   **분석:** '일부'라는 제한 조건이 '모든'이라는 전칭 긍정으로 왜곡되어 정책의 범위가 완전히 변질됨.
*   **사례 2: 번역 과정에서의 문화적/맥락적 왜곡**
    *   **원문:** "It's a piece of cake." (매우 쉽다는 관용구)
    *   **왜곡 생성:** "그것은 케이크 한 조각이다."
    *   **분석:** 관용적 의미를 무시하고 문자 그대로 번역(Literal Translation)하여 화자의 의도를 상실함.

## 3. 의미 왜곡 발생 원인
의미 왜곡은 모델의 아키텍처, 학습 데이터, 추론 과정의 복합적인 한계로 인해 발생한다.

1.  **학습 데이터의 편향성 및 노이즈:** 학습 데이터 내에 상충하는 정보가 포함되어 있거나, 특정 편향이 강할 경우 모델은 확률적으로 더 빈번하게 등장하는 잘못된 정보를 선택할 가능성이 크다.
2.  **토큰화(Tokenization)의 한계:** 텍스트를 최소 단위인 토큰으로 쪼개는 과정에서 희귀 단어나 전문 용어가 잘못 분절될 경우, 모델이 해당 단어의 의미를 오인하여 왜곡된 결과를 생성한다.
3.  **확률적 생성 특성 (Stochastic Nature):** LLM은 결정론적(Deterministic)이지 않고 확률적으로 다음 단어를 선택한다. 이 과정에서 `Temperature` 설정이 높을수록 창의성은 증가하지만, 사실 관계의 정확도는 떨어지며 왜곡 가능성이 높아진다.
4.  **컨텍스트 윈도우(Context Window) 제약:** 모델이 한 번에 처리할 수 있는 입력 길이(Context Window)를 초과하는 긴 문서의 경우, 앞부분의 핵심 제약 조건을 잊어버리는 'Lost in the Middle' 현상이 발생하여 후반부 생성 내용이 왜곡될 수 있다.

## 4. 왜곡 방지를 위한 주요 전략
의미 왜곡을 최소화하기 위해 입력 단계(Prompt), 외부 데이터 결합(RAG), 출력 제어 단계에서 다각적인 전략을 사용한다.

### 4.1 프롬프트 엔지니어링
*   **Few-shot Prompting:** 정답 예시를 몇 가지 제공하여 모델이 출력 형식을 학습하게 함으로써 임의적인 변형을 방지한다.
*   **Chain-of-Thought (CoT):** "단계별로 생각하라"는 지시를 통해 논리적 추론 과정을 명시하게 하여, 중간 단계에서 발생하는 논리적 비약을 줄인다.

### 4.2 RAG (Retrieval-Augmented Generation)
RAG는 모델 내부의 파라미터에만 의존하지 않고, 신뢰할 수 있는 외부 지식 베이스에서 관련 문서를 검색하여 이를 근거로 답변을 생성하게 하는 기법이다.

```mermaid
graph LR
    A[사용자 질문] --> B[질문 임베딩]
    B --> C[벡터 DB 검색]
    C --> D[관련 문서 추출]
    D --> E[LLM: 질문 + Context]
    E --> F[근거 기반 답변 생성]
```

### 4.3 제약 조건 설정 및 파라미터 최적화
시스템 프롬프트에 명확한 가이드라인을 부여하고, 생성 파라미터를 조정하여 자의적 해석을 제한한다.

**[System Prompt Example]**
```markdown
당신은 전문적인 문서 요약 어시스턴트입니다. 다음 제약 조건을 엄격히 준수하십시오.

1. 근거 기반 생성: 제공된 [Context] 내에 명시되지 않은 정보는 절대 추가하지 마십시오.
2. 부정어 유지: 원문에 '아니다', '없다', '제한적이다'와 같은 부정 표현이 있을 경우 이를 반드시 유지하십시오.
3. 불확실성 명시: 제공된 정보만으로 답변이 불가능할 경우, 억지로 생성하지 말고 "제공된 문서에서 관련 내용을 찾을 수 없습니다"라고 답변하십시오.
4. 수치 보존: 모든 숫자, 날짜, 고유명사는 원문과 토큰 단위로 일치해야 합니다.
```

**[Temperature 설정에 따른 왜곡 비교]**
사실 관계의 정확성이 중요한 작업에서는 낮은 Temperature 설정을 권장한다.

| 설정값 | 특성 | 의미 왜곡 가능성 | 권장 용도 |
| :--- | :--- | :--- | :--- |
| **0.0 $\sim$ 0.2** | 결정론적, 일관된 출력 | **매우 낮음** | 요약, 번역, 데이터 추출, 법률/의료 문서 처리 |
| **0.5 $\sim$ 0.7** | 균형 잡힌 생성 | **보통** | 일반적인 챗봇 응대, 이메일 작성 |
| **0.8 $\sim$ 1.0** | 창의적, 다양한 출력 | **높음** | 시 쓰기, 아이디어 브레인스토밍, 소설 작성 |

## 5. 생성 품질 평가 및 검증 방법
왜곡 여부를 판단하기 위해 정량적 지표와 정성적 평가를 병행한다.

### 5.1 정량적 지표
*   **ROUGE (Recall-Oriented Understudy for Gisting Evaluation):** 생성된 텍스트와 참조 텍스트 간의 n-gram 중복도를 측정한다. 주로 요약 성능 평가에 쓰이지만, 의미적 일치보다는 형태적 일치에 가깝다.
*   **BERTScore:** BERT의 임베딩 벡터를 활용하여 토큰 간의 코사인 유사도를 계산한다. 단순 단어 일치가 아닌 문맥적 의미의 유사성을 측정하므로 의미 왜곡 탐지에 더 효과적이다.
*   **Faithfulness Metric:** RAG 평가 프레임워크(예: RAGAS)에서 사용되며, 생성된 답변의 각 문장이 검색된 컨텍스트에 의해 뒷받침되는지를 측정한다.

### 5.2 정성적 평가 (Human Eval)
전문 평가자가 **'충실도(Faithfulness)'**와 **'정확성(Accuracy)'** 항목을 기준으로 리커트 척도(Likert scale) 평가를 수행한다. 특히 도메인 전문가가 참여하여 미세한 뉘앙스 왜곡을 잡아내는 과정이 필수적이다.

## 6. 한계 및 향후 과제
현재의 기술로도 상당 부분의 왜곡을 방지할 수 있으나, 다음과 같은 한계가 존재한다.

1.  **문화적/맥락적 전이:** 언어마다 고유한 문화적 맥락이 다르므로, 단순한 의미 일치를 넘어선 '문화적 등가성'을 확보하는 것은 여전히 어려운 과제이다.
2.  **추론-생성 간의 괴리:** 모델이 내부적으로는 정답을 알고 있음에도 불구하고, 디코딩 과정에서 확률적 선택으로 인해 잘못된 단어를 출력하는 현상이 발생한다.

### 최신 벤치마크 데이터셋
최근 LLM의 의미 왜곡 및 환각 능력을 측정하기 위해 다음과 같은 데이터셋이 활용되고 있다.
*   **TruthfulQA:** 모델이 일반적인 오해나 잘못된 상식을 그대로 따라 하는지 측정하는 데이터셋.
*   **HaluEval:** 대규모 환각 생성 데이터셋으로, 생성된 텍스트의 사실 여부를 판별하는 능력을 평가한다.
*   **GSM8K:** 다단계 수학 추론 능력을 평가하여 논리적 전개 과정에서의 왜곡을 측정한다.

향후 연구는 모델의 내부 활성화 상태를 모니터링하여 환각 발생 가능성을 실시간으로 감지하는 'Self-Correction' 메커니즘과, 지식 그래프(Knowledge Graph)를 결합하여 논리적 무결성을 강제하는 하이브리드 구조로 발전할 것으로 전망된다.